查看原文
其他

在真实世界中,啤酒与尿布是个神话,数据分析的真相是……

The following article is from 接地气学堂 Author 接地气的陈老师


正文开始


一提人工智能大数据,必有人提啤酒与尿布,有意思的是,都2020年了,还有人信这个老掉牙的都市传说。今天我们系统讲解一下。

 1 
站在背后的关联规则

支持啤酒与尿布故事的,是关联规则算法。注意:关联规则算法本身没啥问题,这是一种发现关联关系(注意:不是因果关系哦)的手段,并且它的算法原理非常简单,需要的数据也非常少,因此适用范围非常广。
 
假设有6种产品,ABCDEF,一个客人买了AB去结账,收银员打出一张小票,上边有AB产品的名称、价格,我们可以用0、1代表是否有该商品,简单把小票表示成:

                                             
类似地,如果有5张订单,可以表示成:

 
注意,即使没有计算,用肉眼也能看到,似乎ABC三个产品在订单里同时出现的几率很高,这就是关联规则的基本思路:找到同时出现频率高的组合。只不过,我们需要用一些指标来衡量:到底什么算高。 
 
因为有六个商品,所以同时出现的组合有很多种:A+B,A+B+C等,我们从最简单的两两组合开始计算,再算三三、四四……计算组合的时候,我们希望组合出现的频率越高越好,因此有了支持度概念:

 
两个商品的购买可能有先后顺序,比如先A后B,这时候可以算购买A的情况下,用户购买B的概率,从而决定在用户购买A以后推B产品,或者是C、D产品。因此引入置信度概念:

 
注意,虽然算出来购买A以后有75%概率购买B,但是不一定非等到用户买A再推荐B。如这个小例子里,直接推B也有80%购买率,显然非等到买了A再推B会很不划算,购买率还跌了,因此引入提升度概念:


支持度、置信度、提升度的计算都很简单,理论上,只需要设定支持度与置信度的要求,之后按一定顺序遍历所有组合(比如Apriori算法),即能找出所有符合条件的组合。这种方法最大的优势就是简单,计算方法、计算逻辑都简单,且需要的数据很少,只要有订单数据即可,数据采集永远是算法的头号大敌,一个需要数据少的方法,自然会被极其广泛的运用。特别是应用于购物篮分析。
 
然而,运用归运用,你真在哪个超市见过啤酒与尿布堆在一起的吗。很快讲故事的人便发现了这个bug,于是改口说:国外的超市……欺负大家出国少呀。那事实的真相到底是啥呢?

 2 
为啥现实中不存在

很遗憾,啤酒与尿布在现实中不存在。首先因为啤酒与尿布是teradata公司的销售编出来的故事。它完美符合了卖科技产品需要意料之外,情理之中”的讲故事原则,因此才流传广泛。在实际运用的时候,无论是技术上还是业务上,类似“啤酒与尿布”的完美案例都不存在。
 
从技术上看,关联规则作为一种无监督找规律方法,更适合做探索性分析,不太适合直接指向一个可落地的SKU组合。注意,上边的例子是高度浓缩的,所以看起来简单可行。比如啤酒,实际上还包含了品牌、包装、价格、是否促销、是否临近保质期等众多因素。实际上SKU极其庞大,且单个SKU的数据非常零散。
 
如果只笼统地用“啤酒”这个大品类做关联,得出的数据几乎没啥指导意义。如果细到某一个具体价位具体保质期的SKU, 比如“Corona/科罗娜啤酒330ml*24瓶178元非折扣非临期”与“宝适绿帮纸尿裤S164新生婴儿超薄透气干爽款155元”单个具体SKU之间的支持度和置信度都非常低,很难达到落地的程度。
 
这是导致啤酒与尿布不会出现在超市里根本原因。随便一个3米5门头的小超市尿布至少几十款,啤酒至少几十款,到底哪个该摆在一起!还要考虑啤酒的冷藏问题,总不能在冰柜里放尿布吧。至于几百上千平米大超市,啤酒SKU数几千款,尿布几千款,货架长达数十米,只能分开放在酒水饮料区和母婴用品区。这俩摆在一起,肯定被商场主管活活殴打致死。
 
从业务上讲,关联规则同所有数学、统计学模型一样,只能说明两个数字之间有关联关系,无法论证任何实际意义上逻辑关系。“妈妈们买尿布的时候会顺便给爸爸买啤酒”的解释,完全就是为了圆故事而圆故事。如果真站在买尿布的妈妈的角度,她有100个理由去买更更值得买的东西,比如干纸巾和湿纸巾。给BB换过尿布的人都知道,那纸巾用起来简直像泼水一样快。有更直接、更明确的驱动力存在,为啥要舍近求远

 3 
现实中是怎么玩的

本质上,消费者的决策是多因素的,生理性需求,认知层次,产品价格,材质,广告、宣传、都会影响消费者最终决策。因此想带动关联销售,方法多的很。
 
最直接的,基于业务规律的推荐,也就是俗称的硬规则。比如有的书就上中下册,拆开了就是没头没尾;有的药就是要一起吃,乱吃会死人。这些商品有固定的规律。这时候就不需要看数据,而是根据业务规律直接做推荐。
 
有些不是硬规则,但是是人们约定俗成的习惯。比如出去烧烤,就是需要碳、炉子、签子、酱油、鸡翅、可乐;啤酒就是和花生米、小龙虾、黄瓜拉皮一起吃;比如方便面就是配火腿肠。这种是软规则。这些基于用户习惯的软规则,也能成为推荐的工具。比如做生鲜电商,可以一件件散着卖,也能打包一个“养秋膘火锅套装”把羊肉卷、汤底料、丸子、香菇等涮锅食材打包卖。
 
有些曾经不是规则,但是经过商家的宣传广告,植入进用户脑海的规则。比如女生各种化妆品,男生各种游戏皮肤、套装;比如最经典的:怕上火喝XXX;比如学数据分析要ESP套餐。这些是基于营销宣传的伪规则。虽然没有啥科学道理,但是用户能接受,就能成为推荐准则。
 
当然,还有最简单粗暴的,基于打折的惠规则。最简单的,用户加入购物车以后,发现自己已经买了400,还有一张满500减100的券能用。这时候用户急着找的就是“哪里有不鸡肋的100元东西可以买”。很有可能她会选纸巾、沐浴露、米面油这种能存放的硬通货。
 
这些都是业务方能发挥主观能动性创造出的规则。所以请同学们牢记,并转发给业务方看:不存在一个不用你努力,就静静躺在数据库里等着被你的数据分析师发现的神秘力量。在2020年,没有谁家的产品是100%独特的,想业绩做的比别人好,关键是自己得努力做。
 
当然,业务方想发挥主观能动性,也是需要数据支持的(如下图):


—————— / END / ——————

分析最新的数据思想,与百万数据从业者一起成长


活动效果的数据分析,这样做才对!

我在字节跳动产品团队的收获与总结

数据&产品书单大放送

数据分析师进阶的10种分析模型

如何提升业务对数据团队的满意度?

数据服务化:打通企业数据应用的最后一公里

数据分析的基本方法论

实战案例 |如何参照阿里OneData构建数据指标体系?

数据湖VS数据仓库之争?阿里提出大数据架构新概念:湖仓一体

用户分层,该怎么分才合理(实操版)

数据治理框架解读分析

无懈可击的数据仓库体系规划及实施流程

用户画像高大上,但90%的人都做失败了!

数据资产的价值如何评估?

数据团队要用数据驱动业务,首先得学会用数据驱动自己!

如何建立有效的数据分析指标体系?

BI报表是如何演进的?

你做的分析,业务早知道了,怎么办?

如何成功打造一个数据治理项目?

报表和取数之后,你还有多少大数据应用的机会?

数据安全治理之道

数据分析快速入门PPT分享

“一平台、两体系、三性特征、四个统一、五个超越、六类服务 ”一篇读懂数据治理、共享和应用(值得收藏)

主数据管理实施四部曲概论

下一个风口-基于数据湖架构下的数据治理

深入浅出数据质量管理

数据团队更需要一个“外交部长”

数据运营体系,该如何搭建

数据团队演进的五个层级,你处于哪一级?

高级的数据分析,长啥样?

数据治理平台工具前世今生

数据中台:基于标签体系的360°用户画像

数据团队的构成

我们有多少机会将数据、信息、知识转化为智慧?

主动性的四个层级,你处在哪一级?

如何更深刻的理解大数据(下)(附PPT下载)

如何更深刻的理解大数据(上)(附PPT下载)

如何提升做报表的效率?

作为大数据技术面试官,我喜欢什么样的应届毕业生?

用户画像,该怎么分析?

有一种信息化的死敌,叫数据打通!

我被“非结构化数据包围了”,请求支援!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存